Sư vốn vốn người thuộc quận Phú Dương, họ Phan. Mẹ sư họ Châu, nằm mộng thấy nuốt ánh sáng mặt trời, nhân đó có thai sư. Đến ngày sinh, mùi hương lạ lan khắp phòng, nên sư có tên là Hương Quang.

Lên 9 tuổi thì xuất gia, đến 21 tuổi làm lễ thọ giới cụ túc tại chùa Quả Nguyên, Kinh Châu. Sư lại đến chùa Tây Minh, Trường An, học với pháp sư Phục Lễ kinh Hoa Nghiêm, Khởi Tín luận. Sau được pháp sư chỉ cho xem sách Chân Vọng Tụng và khuyên nên tu tập Thiền.Sư hỏi: Ban đầu phải quán thế nào ? Dụng tâm thế nào ? Pháp sư lặng yên mãi không nói. Sư hỏi ba lần xong đi ra.

Khi vua Đường Đại Tông mời Thiền sư Quốc Nhất tức là Kính Sơn Đạo Khâm vào triều, sư đến ra mắt và đạt được Chính pháp. Sau đó sư trở về Nam, trụ chùa Vĩnh Phúc - Côn Sơn. Ở đây có tháp Bích Chi Phật, nhằm lúc các chúng đạo, tục đang tụ tập làm lễ pháp hội. Sư chống tích trượng đi thẳng vào. Có pháp sư Thao Quang ở chùa Linh Ẩn hỏi: Pháp hội này sao lại có tiếng rùm beng lắm vậy? Sư đáp: Không có tiếng thì ai biết là hội.

Sau đó, thấy núi Tần Vọng có cây tùng cao lớn, cành lá rậm rạp, xòe ra như cái lọng, sư bèn leo lên ở trên ấy, nên người thời bấy giờ gọi là Ô Khòa thiền sư (thiền sư tổ quạ). Kế bên sư ở, có tổ chim Khách (Thước), thân thiết với sư nên người đời còn gọi sư là Thiền sư Thước Sào (Thiền sư ổ chim Khách).

Sư cũng có cách dạy đệ tử rất đặc biệt:

Có thị giả tên Hội Thông, ngày nọ bỗng muốn từ giã Sư ra đi. Sư hỏi: Ông nay định đi đâu ?

Hội Thông đáp: Hội Thông vì pháp mà xuất gia, không được Hòa thượng rũ lòng từ dạy bảo nên con phải đi nơi khác học Phật pháp.

Sư nói: Nếu là Phật pháp thì chỗ ta cũng có chút đỉnh.

Hội Thông hỏi: Thế nào là Phật pháp của Hòa thượng ?

Sư bèn nhổ mấy sợi lông vải trên áo đang mặc và thổi cho bay đi. Thông tức thì nhận ra chỉ ý huyền diệu.

Khoảng niên hiệu Nguyên Hòa, Quan thị lang Bạch Cư Dị nhân làm Thái Thú cai quản nơi quận ấy, đi vào núi yết kiến sư. Và trải qua cuộc trò chuyện Phật pháp vô cùng thấm đẫm, khiến cho Bạch Cư Dị rất kính trọng:

Bạch Cư Dị hỏi: Chỗ ở của Thiền sư sao nguy hiểm quá vậy ?

Sư đáp: Thái thú còn nguy hiểm hơn nhiều.

Bạch nói: Đệ tử ở vị thế trấn giang san cho vua nào có nguy hiểm chi đâu ?

Sư nói: Củi lửa giao nhau, thức tánh chẳng dừng, vậy không nguy hiểm sao ?

Lại hỏi: Thế nào là đại ý Phật pháp ?

Sư đáp: Chớ làm điều ác, nên làm các điều lành.

Bạch nói: Đứa trẻ ba tuổi cũng biết nói như vậy.

Sư nói: Trẻ ba tuổi tuy nói được như thế nhưng ông lão 80 lại không làm được.

Bạch Cư Dị nghe xong vô cùng thán phục và làm cái gác bằng tre trên cây cho sư ở và thường đến đây hỏi đạo.

Niên hiệu Trường Khánh, năm thứ tư, ngày 10 tháng, sư bảo cùng thị giả: Ta nay đã xong hết. Nói xong, sư ngồi yên mà tịch, thọ 84 tuổi, tuổi lạp 63. Vua sắc hiệu là Viên Tu Thiền Sư.